Brooke cai trị Sarawak cho đến khi ông mất vào năm 1868, sau ba cú đột quỵ trong mười năm. Toàn bộ ba Rajah Trắng được án táng tại Nhà thờ St Leonard tại làng Sheepstor thuộc Dartmoor.

Ông không có con chính thống, năm 1861 ông chính thức chỉ định con trai của chị gái là Thuyền trưởng John Brooke Johnson-Brooke làm người thừa kế. Hai năm sau, Rajah phản ứng trước chỉ trích bằng cách trở về phương đông: sau một cuộc gặp ngắn tại Singapore, John bị phế truất và trục xuất khỏi Sarawak. James còn bị buộc tội mưu phản, sau đó em trai của John là Charles Anthoni Johnson Brooke trở thành người thừa kế.